基于言语想象的脑机交互关键技术
脑机接口（BCI）是一种通信或控制系统，用户发送到外部世界的消息或命令不通过大脑外围神经和肌肉的正常输出路径，而是利用计算机等外部电子设备，实现大脑与外界的交流和控制。BCI系统可分为自发与诱发两类，前者是基于某种特定心理任务产生的神经活动，而后者是在外部刺激下所诱发的，其中自发BCI系统常见的心理范式（任务）是运动想象，它要求被试在心理上模拟身体某个部位运动（比如手或脚）。基于运动想象的脑机交互机制已被广泛研究，然而运动想象这一心理任务却对部分被试不太友好，大约20%的人不能产生有效的控制，即“BCI盲”现象。因此，研究者提出了其他一系列的心理范式（任务），如言语想象、视觉想象、心算等，利用这些任务同样可以进行BCI系统的研究与开发。其中基于言语想象BCI系统拥有较多的优点，如自发产生且无需刺激、无需训练且对被试友好，可直接表达真实意图，能够提供一种自然的交流方式等。
虽然言语想象任务执行起来相对容易，但在特征提取、分类、人机交互等方面存在一定的难度，实验范式的设计和想象材料的选择也没有统一的标准。因此，针对上述存在的问题，我们对言语想象的实验范式及想象材料进行系统的归纳总结，讨论处理言语想象数据的算法，归纳在线系统、实验范式、言语想象数据和解码句子这几方面存在的具体问题，并展望了言语想象BCI系统在未来的发展方向及应用前景。
言语想象，指的是人们在心里发音，而不发出实际声音，也没有面部动作，这一现象的产生涉及到人的认知、记忆、学习、思考等方面的大脑神经机制。
在言语想象和真实发音过程中大脑的神经活动有重叠，但也存在部分差异，因此不能将真实发音实验中得到的结论应用于言语想象范式，而应将言语想象与BCI系统结合起来对这一脑活动机制进行研究。大脑在处理不同含义词语时有着不同的激活方式，利用言语想象时大脑的神经特征，可以为BCI系统的分类、解码提供依据，言语想象范式能够得以发展，就是依托了对这些生理机制的研究。但是，在真实发音过程中存在嘴唇、舌头等发音器官的运动，那么利用言语想象时的脑神经信号进行分类、解码，究竟是利用大脑处理言语信息的信号还是发音器官运动想象的信号还需进一步探究。
言语想象BCI系统的实验范式可分为两类，一类是分类任务，另一类是解码任务，如图1所示为言语想象BCI系统实验范式。分类任务的对象是两个或多个单词、音节、音位等，其目标是将脑神经信号分类为有限类别数当中的一类；而解码任务的对象大多是句子，其目标是利用脑神经信号重建连续的语句特征。
基于言语想象BCI系统分类任务的实验范式与基于运动想象BCI系统的实验范式较为相似，分类任务实验范式的单个实验试次通常包括准备期、刺激/提示期、想象期和休息期。如图1a所示，为分类任务实验范式的时序图，以想象“是”为例。
在准备期，被试被要求注视屏幕，一般情况下屏幕会显示“十”字符号，目的是让被试避免头部运动使脑活动保持基线水平，也便于实现后续异步系统想象状态与空闲状态的区分。
刺激/提示是给出被试在想象期所执行的想象任务，较为常见的刺激/提示材料为单个汉字、单词、音节、音位等。根据刺激/提示材料呈现方式的不同可分为听觉提示、视觉提示和视听结合三种形式。在刺激/提示期，若为听觉提示，系统会通过扬声器播放被试需要想象的材料；若为视觉提示，系统会通过屏幕显示被试需要想象的材料。其中较为常见的是视觉提示，当在线人机交互系统中使用视觉提示，被试可以在多个提示材料中自主选择要执行的想象任务。若使用听觉提示，被试只能根据听觉提示进行人机交互，将不能自主选择想象材料。与此同时，使用听觉刺激会激活与言语想象相关的脑区，而使用视觉提示就能够避免这一问题。
在想象期，被试被要求想象在刺激/提示期所呈现的提示材料，但是关于言语想象任务如何执行，各个文献都有不同的表述。例如，在心里读某个字不能移动嘴唇且不能发音；想象在心里默默地说出某个字；想象以第一人称的方式说话，说话者感觉自己在没有任何发音动作的情况下说话。通过广泛查阅文献将言语想象任务指导语总结为：被试应以第一人称的角度进行想象，在想象过程中心里默读所提示的材料，但是不能发出声音，同时应保持发音器官与面部器官不能运动。
通过对言语想象分类任务实验范式的归纳总结，不难发现各个文献所设计的实验范式并不一致，范式的确定不能单一地从准确率这一个方面进行考虑，而是要结合后续在线系统和用户的使用感受进行综合考虑设计，例如通过设置问卷、控制变量法和多种评价指标寻找合适的实验范式。此外，虽然使用周期性的嘟嘟声可以提高分类性能，但是持续的听觉刺激会对被试造成听觉疲劳，同样听觉刺激对脑神经信号也会产生影响，因此言语想象实验范式的设计仍有改进空间。
解码真实言语产生时的脑神经信号是利用言语想象进行人机交互的必要一步。Herff等通过采集被试阅读句子时的ECoG信号可以实现对音素、单词的解码；而Anumanchipalli等不仅能够解码阅读句子时的脑神经信号，而且当被试默念句子时（即做出必要的口型，不发出声音），也可以利用所设计的解码器合成语音。直接对想象句子时脑神经信号进行解码存在一定的难度，因此需要将朗读句子时的脑神经信号与句子信息进行标定并训练，以实现对脑神经信号的解码。
解码处理句子时脑神经信号的实验范式是将被试朗读实验材料时的脑神经信号与朗读的内容进行标定，然后利用标定的信息与脑神经信号训练解码器，最后在阅读或想象句子时对脑神经信号进行解码。图1b为解码任务实验范式的流程图，被试阅读屏幕上显示的连续句子，并利用采集到的音频信息做为标签与脑神经信号一起记录。实验材料在屏幕上呈现的形式可分为两类，一类是文本以恒定的速度从右至左在屏幕滚动显示，另一类则是在屏幕一次显示一个句子。为保证记录过程的连贯，被试在记录之前会熟悉所执行的任务。如果被试本身是言语障碍患者，那就需要用到迁移学习，利用健康被试训练解码器进行解码。
特征提取部分是言语想象BCI技术的核心，该过程的实质是从采集的脑神经信号中提取部分有用的信息，并利用这些信息进行不同脑状态的区分。特征提取算法大概可以分为三类：时域法、频域法和空域法。
时域法一般选取各通道信号的均值、方差、峰度等作为特征，常用这种算法的脑神经信号采集方式是EEG和fNIRS。Iqbal等发现在元音想象的EEG信号中，时域特征取得了比空域更好的分类精度。在fNIRS信号中，Hwang等在单词想象二分类任务中发现所有时域特征类型中峰度特征的平均分类精度最高，而Sereshkeh等选择均值作为特征对言语想象任务进行在线分类。
分类与解码就是进行不同脑状态的区分，确定所提取的特征与脑状态的对应关系。当前，基于言语想象BCI系统的分类与解码算法主要有经典的机器学习和更加前沿的深度学习两类。
在言语想象研究中，采集的数据大多是正常人，而言语想象范式其目的是为了提高言语障碍患者的沟通能力，因此在以后的研究中应尽可能选择一部分言语障碍被试。另一方面，大多数研究都是利用言语想象数据进行分类任务，仅有个别研究将言语想象应用于控制鼠标及智能家居。因此，在后续研究中应将言语想象范式与实际控制相结合，在拥有实际应用的同时，还可以提高被试参加实验的积极性与成就感。
基于言语想象的数据库比较少，已有的数据库有西班牙语和英语，虽然汉语是世界上使用人口数最多的语言，却没有基于汉字想象的数据库。因此，对言语想象BCI系统感兴趣且有条件的学者可以将采集到的汉字想象数据予以公布，以促使在汉字想象方面的分类解码算法快速发展。
人们在日常生活中都是使用句子进行交流，并非孤立的字、词，因此研究解码句子具有更深远的意义和应用价值。对解码句子的研究能够更加全面地了解大脑关于语言的加工处理过程，同时对基于分类任务言语想象BCI系统也能起到促进作用。基于句子想象的BCI系统解码研究并未广泛开展，目前的研究都需要采集被试朗读句子时的脑神经信号进行训练并解码，随着研究的不断深入，可不必阅读句子而仅通过想象就足以实现训练与解码。
基于言语想象BCI系统在多个领域将有着广泛的应用，如交流功能恢复、军事、教育、娱乐等，并且有着很大的研究价值和发展潜力，图2所示为基于言语想象BCI系统的应用。
其中言语想象BCI系统未来最主要的应用在于交流功能恢复及军事领域。应用于交流功能恢复领域BCI系统的经典范式有稳态视觉诱发电位（SSVEP）和P300，通过这两种范式都可以实现打字系统，以帮助言语障碍患者获得与外界交流的能力。但是这两种范式都需要刺激诱发，刺激会让被试产生疲劳，而言语想象范式就避免了这一弊端，能够直接表达真实的内容。随着技术的发展成熟，可以将言语想象应用于军事当中，通过脑神经信号采集、分析和解码，无需使用语音即可进行人与人之间的交流，从而实现无声加密通信；还可以利用言语想象开发多人协调决策融合系统，利用群体的智慧提高决策的准确性。
言语想象范式不仅可以实现交流通信，由于言语想象范式相比运动想象范式具有足够多的指令，同样还可以实现对设备及环境的控制。除了常规的鼠标和轮椅控制，还可以将言语想象BCI系统与物联网技术结合，以实现对智能家居的控制；与智能驾驶技术结合，以实现智能辅助驾驶等。在未来言语想象BCI系统发展过程中可以考虑引入神经反馈技术，通过可视化脑区激活等神经特征，监测和改善被试的言语想象能力。
在教育领域，通过言语想象BCI系统对检测到的脑神经信号进行解码，然后将解码得到的信息与当前的学习任务进行对比，进而实现对学习状态评估和专注度量化。但这一领域的应用不仅存在技术问题，还存在一系列的伦理问题，比如使用者的个人隐私、网络安全等。
在安全领域，可以将言语想象应用于脑纹识别，所谓脑纹识别指的是利用脑神经信号进行身份识别和验证。大多数进行脑纹识别的研究是基于静息态、运动想象、时间相关和视觉诱发，利用言语想象进行脑纹识别的研究较少，因此这一技术有着广阔的发展前景。
在娱乐方面，言语想象BCI系统也有很好的应用，可以利用言语想象开发打字游戏，在提供娱乐功能的同时，可以使言语障碍患者快速掌握基于言语想象的BCI打字系统。还可将其与虚拟现实技术结合，无需额外的外部控制设备，直接通过言语想象控制游戏中的角色，以获得沉浸式体验。
目前，基于言语想象BCI技术已步入快速发展阶段，多元化的研究让该技术日趋复杂多样，且远未形成统一标准。本文聚焦实验范式和数据处理两大核心问题，系统分析了这两方面的内容，并归纳了在线系统、实验范式、言语想象数据和解码句子这几方面存在的具体问题。这些研究可以帮助相关学者梳理思路，为进一步发展基于言语想象BCI技术提供一些有益借鉴。未来，将言语想象范式发展到能够自然地交互，还需要将其与心理学、神经科学、计算机科学等相关学科结合起来，采取跨学科的方法推进这一研究的发展。
来源：生物医学工程学杂志 2022.5.30
刘艳鹏，龚安民，丁鹏，赵磊，钱谦，周建华，苏磊，伏云发．
参考：BCIduino脑机接口社区。仅用于学术交流，不用于商业行为，若有侵权及疑问，请后台留言，管理员即时删侵！
更多阅读
加入社群
欢迎加入脑机接口社区交流群，
探讨脑机接口领域话题，实时跟踪脑机接口前沿。
加微信群：
添加微信:RoseBCI【备注：姓名+行业/专业】。
加QQ群：913607986
欢迎来稿
1.欢迎来稿。投稿咨询，请联系微信：RoseBCI
2.加入社区成为兼职创作者，请联系微信：RoseBCI
点个在看祝你开心一整天!